表面通常被建模为3D点的三角形网格,质地与网状面孔相关。 3D点可以是从范围数据中采样的,也可以使用立体声或结构 - 移动算法从一组图像中得出。当这些点不在真实表面的最大曲率或不连续性的临界点时,网格的脸部不靠近建模的表面。这会导致纹理伪影,并且该模型与一组实际图像并不完全一致,这些图像用于纹理绘制其网格。本文提出了一种通过重新定位其顶点来完善3D表面模型的技术,使其与一组观察到的物体图像相干。从多个观点观察到的,纹理伪影和与图像的不一致是由于表面贴片的非平面度近似。从角度来看,图像区域用于代表本征空间中补丁的纹理。特征空间表示捕获了纹理的变化,我们试图最小化。基于从本征空间重建的面部纹理和实际图像之间的差异的相干度量用于重新定位顶点,以改善模型或改进模型。我们将这种模型改进的技术称为特征法,通过几何和质感,模型可以更好地近似真实的表面。
translated by 谷歌翻译
Pose Machines provide a sequential prediction framework for learning rich implicit spatial models. In this work we show a systematic design for how convolutional networks can be incorporated into the pose machine framework for learning image features and image-dependent spatial models for the task of pose estimation. The contribution of this paper is to implicitly model long-range dependencies between variables in structured prediction tasks such as articulated pose estimation. We achieve this by designing a sequential architecture composed of convolutional networks that directly operate on belief maps from previous stages, producing increasingly refined estimates for part locations, without the need for explicit graphical model-style inference. Our approach addresses the characteristic difficulty of vanishing gradients during training by providing a natural learning objective function that enforces intermediate supervision, thereby replenishing back-propagated gradients and conditioning the learning procedure. We demonstrate state-of-the-art performance and outperform competing methods on standard benchmarks including the MPII, LSP, and FLIC datasets.
translated by 谷歌翻译
The automated synthesis of correct-by-construction Boolean functions from logical specifications is known as the Boolean Functional Synthesis (BFS) problem. BFS has many application areas that range from software engineering to circuit design. In this paper, we introduce a tool BNSynth, that is the first to solve the BFS problem under a given bound on the solution space. Bounding the solution space induces the synthesis of smaller functions that benefit resource constrained areas such as circuit design. BNSynth uses a counter-example guided, neural approach to solve the bounded BFS problem. Initial results show promise in synthesizing smaller solutions; we observe at least \textbf{3.2X} (and up to \textbf{24X}) improvement in the reduction of solution size on average, as compared to state of the art tools on our benchmarks. BNSynth is available on GitHub under an open source license.
translated by 谷歌翻译
人纹理感知是多感官输入的加权平均值:视觉和触觉。当视觉传感机制提取全局特征时,触觉机制通过提取本地特征来补充它。文献中缺乏耦合的视觉效果数据集是研究类似于人类质地知觉的多模式融合策略的挑战。本文介绍了一个视觉数据集,可扩大现有的触觉数据集。我们提出了一种新型的深层融合体系结构,该融合体使用四种类型的融合策略融合了视觉和触觉数据:求和,串联,最大程度和注意力。我们的模型仅在触觉(SVM -92.60%)和仅视觉(FENET -50-50-85.01%)体系结构方面显示出显着的性能改进(97.22%)。在几种融合技术中,注意引导的体系结构可提高分类的精度。我们的研究表明,类似于人类纹理感知,提出的模型选择了两种方式(视觉和触觉)的加权组合,从而导致表面粗糙度分类的精度较高。它选择最大化视觉模态失败的触觉方式的重量,反之亦然。
translated by 谷歌翻译
在软件开发过程中,开发人员需要回答有关代码语义方面的查询。即使已经用神经方法进行了广泛的自然语言研究,但尚未探索使用神经网络对代码回答语义查询的问题。这主要是因为没有现有的数据集,具有提取性问答和答案对,涉及复杂概念和较长推理的代码。我们通过构建一个名为Codequeries的新的,策划的数据集并提出了一种关于代码的神经问题方法来弥合这一差距。我们基于最先进的预训练的代码模型,以预测答案和支持事实跨度。给定查询和代码,只有一些代码可能与回答查询有关。我们首先在理想的环境下进行实验,其中仅给出了模型的相关代码,并表明我们的模型做得很好。然后,我们在三个务实的考虑因素下进行实验:(1)扩展到大尺寸的代码,(2)从有限数量的示例中学习,(3)代码中对次要语法错误的鲁棒性。我们的结果表明,虽然神经模型可以抵御代码中的次要语法错误,代码的大小增加,与查询无关的代码的存在以及减少的培训示例数量限制了模型性能。我们正在释放数据和模型,以促进未来关于回答代码语义查询的问题的工作。
translated by 谷歌翻译
在矩阵完成问题中,人们希望根据一组(可能是嘈杂的)条目重建一个低级别矩阵。先前的工作考虑完成整个矩阵,在条目分布不均匀的情况下,这可能是高度不准确的。我们正式化了部分矩阵完成的问题,目标是完成大量条目,或等效地完成整个矩阵并指定条目的准确子集。有趣的是,即使分布未知且任意复杂,我们的有效算法也能够保证:(a)在所有完成的条目上高精度,以及(b)高覆盖范围,这意味着它至少涵盖了与该矩阵的范围一样多。观察的分布。
translated by 谷歌翻译
注意力指导是一种解决深度学习中数据集偏见的方法,该模型依赖于错误的功能来做出决策。为了关注图像分类任务,我们提出了一个有效的人类在环境系统中,以交互性地将分类器的注意力引向用户指定的区域,从而降低了共发生偏见的影响,并提高了DNN的可传递性和可解释性。以前的注意力指导需要准备像素级注释,而不是被设计为交互式系统。我们提出了一种新的交互式方法,可让用户简单地点击注释图像,并研究一种新颖的主动学习策略,以显着减少注释的数量。我们既进行了数值评估,又进行了用户研究,以评估多个数据集上提出的系统。与现有的非活性学习方法相比,通常依靠大量基于多边形的分割口罩来微调或训练DNNS,我们的系统可以节省大量的劳动力和金钱,并获得一个效用更好的网络即使数据集有偏见。实验结果表明,所提出的系统是有效,合理且可靠的。
translated by 谷歌翻译
技术在康复领域发挥着重要作用,改善患者结果并降低医疗保健成本。然而,现有的方法缺乏临床验证,鲁棒性和易用性。我们提出Tele-EventNet,这是一个由两个组件组成的新颖系统:实时反馈模型和整体性能评估模型。实时反馈模型展示了对运动正确性的反馈,易于理解使用颜色标记突出显示的指令。整体绩效评估模型学会了联合数据的映射到分数,由临床医生的表现提供。该模型通过从联合数据中提取临床批准的特征来实现这一点。此外,这些特征与AutoEncoder一起编码到较低的尺寸空间。提出了一种新的多尺度CNN-LSTM网络,以通过利用在多个尺度提取的功能来学习对分数的性能数据的映射。所提出的系统显示出高度改善的分数预测和优于最先进的康复模型。
translated by 谷歌翻译